SnapIT: Automatische Suche nach aus einem Bild extrahiertem Text

Die in Auffüllen der Sammlung „Knowledge-Suche“ beschriebene Aktion Suchergebnisse füllen kann mit der Möglichkeit kombiniert werden, mithilfe der im Extrahieren von Text aus Bildern im Rahmen eines Prozesses beschriebenen optischen Zeichenerkennung (OCR) Text aus einem Bild zu extrahieren und so eine Funktion bereitzustellen, die wir „SnapIT“ nennen. Mit SnapIT können Sie Ihren Endbenutzern im Rahmen eines Prozesses die Suche nach Text ermöglichen, der aus einem Bild extrahiert wurde. Zum Beispiel: Wenn dem Endbenutzer eine Fehlermeldung angezeigt wird, könnte er die Meldung mit einer Bildschirmaufnahme oder einem Foto erfassen, mit diesem Bild als Anhang-Attribut einen Incident protokollieren und dann automatisch Lösungsvorschläge für den Incident erhalten.

In diesem Abschnitt wird beschrieben, wie Sie Text aus einem Bild extrahieren und die Knowledge-Datenbank im Rahmen eines Incident-Prozesses nach diesem Text durchsuchen. Mit ähnlichen Techniken können Sie diese Funktionalität in anderen Modulen verwenden.

Wir empfehlen Ihnen, diese Lösung schrittweise aufzubauen, um die ordnungsgemäße Funktion eines jeden Teils sicherzustellen, bevor Sie mit dem nächsten Teil fortfahren. Implementieren Sie zunächst die Extraktion von Text aus einem Bild.

OCR-Systemeinstellungen

Die verwendet OCR-Technologie (ABBYY) wird in der Cloud gehostet. Damit Ihr Unternehmen diese Funktionalität nutzen kann, benötigen Sie eine Subskription und müssen ein Konto bei abbyy.com registrieren. Anschließend müssen Sie auf der ABBYY-Website eine Anwendung für die Nutzung durch Ihr System erstellen.

So geben Sie die OCR-Anwendungsdaten für Ihr Unternehmen ein:

1. Klicken Sie in der Ivanti Console im Menü Einstellungen auf System.
   Die Systemeinstellungen werden angezeigt.
2. Legen Sie unter OCR-API-Einstellungen die folgenden Werte fest:
   URL – Die URL für den OCR-Webdienst. Tragen Sie hier Folgendes ein: https://cloud.ocrsdk.com/
   Konto-ID – Ihr ABBYY-Anwendungsname.
   Kontenkennwort – Ihr ABBYY-Anwendungskennwort.
   Maximale Wartezeit – Wie lange auf eine Antwort gewartet werden soll. Nach unserer Erfahrung weisen Ergebnisse, die nach mehr als etwa 10 Sekunden zurückgegeben werden, oft eine schlechtere Qualität auf. Deshalb empfehlen wir, diesen Wert auf 10 zu setzen.
3. Speichern Sie die Einstellungen.

Einstellen des OCR-Verhaltens

Nachdem Sie die OCR-Systemeinstellungen konfiguriert haben, können Sie das Objekt und die Attribute einrichten, die für die Speicherung des Bildes und des daraus extrahierten Textes verwendet werden.

So richten Sie das OCR-Verhalten ein:

1. Fügen Sie im Objekt Designer dem Objekt, von dem aus die OCR-Funktionalität genutzt werden soll, das Verhalten OCR hinzu.
   Das könnte z. B. Incident Management\Incident sein.
2. Klicken Sie auf OK und speichern Sie die Änderungen.
   
   Dem Objekt wird automatisch ein neues Attribut namens OCR-Status hinzugefügt. In diesem Attribut wird aufgezeichnet, ob die OCR-Anfrage erfolgreich war oder nicht. 0 = Keine, 1 = Erfolgreich, 2 = Fehlgeschlagen.
   
   Darüber hinaus wird eine neue Aktion - Text extrahieren - erstellt, die Sie im Prozess Designer nutzen können.

Nachdem das Objekt mit dem OCR-Verhalten erstellt wurde, können Sie die Attribute konfigurieren, in denen das Bild und der daraus extrahierte Text gespeichert werden.

3. Fügen Sie dem Objekt ein Attribut hinzu, und stellen Sie den Datentyp des Attributs auf Anhang ein.
   
   Zum Beispiel: OCR-Anhang.

Achten Sie dabei darauf, dass die EigenschaftAnhangtypauf Keine belassen wird.

4. Setzen Sie die Eigenschaft Textextraktion aktivieren? für das Attribut auf Wahr und speichern Sie die Änderungen.
   
   Dem Objekt wird ein neues Attribut namens Text aus Attributtitel hinzugefügt.
   
   Zum Beispiel: Text aus OCR-Anhang. Dies ist dann das Attribut, in dem Text gespeichert wird, der aus dem Bild extrahiert wurde.
   
   

Sie können den Text der Aktion Text extrahieren ändern (und mehrsprachige Versionen eingeben). Dazu nutzen Sie den Baum Geschäftsobjekte im Prozess Designer. Weitere Informationen zur Verwendung von Prozess Designer finden Sie unter Prozess Designer, weitere Informationen zur Erstellung eines mehrsprachigen Systems finden Sie unter Ein mehrsprachiges System entwerfen.

Die Eigenschaft Textextraktion aktivieren? kann mehr als einem Anhang-Attribut auf demselben Objekt hinzugefügt werden. In diesem Fall hat jedes Attribut sein eigenes Attribut Text aus...,nutzt aber dieselbe Aktion Text extrahieren.

Design des Fensters und des Prozesses für die Textextraktion

Nachdem Sie die OCR-Systemeinstellungen festgelegt und das OCR-Verhalten auf dem gewünschte Objekt festgelegt haben, können Sie das erforderliche Fenster und den erforderlichen Prozess für Textextraktion zu entwerfen.

So erstellen Sie das Fenster und den Prozess:

1. Fügen Sie mithilfe von Window Manager die Attribute OCR-Anhang und Text aus OCR-Anhang in das Fenster Incident ein.

Sie können während der Designphase auch das Attribut OCR-Status in das Fenster aufnehmen, um die Fehlersuche zu erleichtern. Jedoch empfehlen wir, das Attribut OCR-Status wieder zu entfernen, bevor Sie das Design in die Live-Version migrieren. Außerdem könnten Sie den Prozess so erweitern, dass ein Incident protokolliert wird, wenn der OCR-Status mit 2 zurückgegeben wird.

2. Erstellen Sie im Prozess Designer einen neuen Prozess unter Incident-Management\Incident.

Informationen zur Verwendung von Prozess Designer finden Sie unter Prozess Designer.

3. Blenden Sie die Toolbox () ein und ziehen Sie auf den Arbeitsbereich.
4. Ziehen Sie eine Automatische Instanzaktion auf den Arbeitsbereich.
   Das Dialogfeld „Aktion wählen“ wird angezeigt.
5. Wählen Sie Text extrahieren, und klicken Sie dann auf OK.
   Das Dialogfeld wird geschlossen, und der Text in der Aktion „Automatische Instanzaktion“ wird aktualisiert.
6. Ziehen Sie einen Startstatus auf den Arbeitsbereich.
   Das Dialogfeld „Status wählen“ wird angezeigt.
7. Wählen Sie Offen und klicken Sie dann auf OK.
8. Verknüpfen Sie mit der Aktion Text extrahieren, und verknüpfen Sie die Aktion Text extrahieren mit dem Status Offen.
9. Schließen Sie den Prozess wie erforderlich ab, und speichern und aktivieren Sie ihn dann.

10. Fügen Sie in Web Access einen Shortcut zu dem von Ihnen erstellten Prozess hinzu.

Informationen zum Hinzufügen von Verknüpfungen zu Web Access finden Sie unter Elemente zur Shortcut-Leiste hinzufügen. Ein zu Self Service hinzugefügter Shortcut steht auch in Ivanti Workspaces zur Verfügung.

Nachdem nun Ihr Design abgeschlossen ist, können Ihre Benutzer den neuen Prozess nutzen, um nach Text zu suchen, der aus einem Bild extrahiert wurde.

So extrahieren Sie Text aus einem Bild:

1. Klicken Sie auf den neuen Shortcut, um das Incident-Fenster anzuzeigen, und füllen Sie die Pflichtfelder aus.
2. Klicken Sie neben dem Feld für den OCR-Anhang auf Datei wählen oder auf Durchsuchen (die Beschriftung hängt vom eingesetzten Browser ab), und wählen Sie ein Bild aus, das Text enthält.

Falls Sie Workspaces auf einem Gerät nutzen, das über eine geeignete primäre Kamera verfügt, können Sie entweder ein vorhandenes Bild auswählen oder ein Foto machen.

3. Speichern Sie den Incident.
   Nach kurzer Zeit ist der Incident gespeichert, und das Feld Text aus OCR-Anhang wird aktualisiert, sodass es den aus dem Bild extrahierten Text enthält. Sofern Sie im Fenster den OCR-Status hinzugefügt haben, ist der Wert 1, wenn die OCR-Anforderung erfolgreich war, bzw. 2, wenn sie fehlgeschlagen ist.

Implementieren von SnapIT

Nachdem Sie die Einrichtung der OCR-Funktion abgeschlossen haben, können Sie die Funktion der Knowledge-Suche so einrichten, dass sie automatisch die Knowledge-Datenbank nach dem Text durchsucht, der im Feld Text aus OCR-Anhang gespeichert wurde.

So durchsuchen Sie die Knowledge-Datenbank nach dem extrahierten Text:

1. Stellen Sie sicher, dass im Konfigurationscenter im Bereich Konfigurierte Services für die von Ihnen verwendete Instanz Background Service gestartet ist.
   Der Background-Service fügt die Elemente in die Knowledge-Datenbank ein.
2. Fügen Sie dem Objekt Incident das Verhalten Automatische Suche hinzu.
   Weitere Informationen finden Sie unter Auffüllen der Sammlung „Knowledge-Suche“.
3. Wählen Sie im Objekt Designer das Attribut Text aus OCR-Anhang. Im Raster Eigenschaften unter Knowledge Management stellen Sie dann Suchtyp auf Ist natürliche Sprache ein, setzen Automatische Suche? aufWahr und speichern die Änderungen.
4. Fügen Sie in Window Manager die Sammlung Suchergebnisse in das Incident-Fenster ein.
5. Deaktivieren Sie im Prozess Designer den zuvor von Ihnen erstellten Prozess, und öffnen Sie ihn.
6. Ziehen Sie eine Automatische Instanzaktion auf den Arbeitsbereich.
   Das Dialogfeld „Aktion wählen“ wird angezeigt.
7. Wählen Sie Suchergebnisse füllen aus, und klicken Sie dann auf OK.
   Das Dialogfeld wird geschlossen, und der Text in der Aktion „Automatische Instanzaktion“ wird aktualisiert.
8. Verbinden Sie die automatische Aktion Suchergebnisse füllen zwischen der automatischen Aktion Text extrahieren und dem Status Offen.

9. Speichern und aktivieren Sie den Prozess.
10. Melden Sie sich in Web Access an, speichern Sie einen Incident mit diesem Prozess, und hängen Sie - wie zuvor - ein Bild an.
    Dieses Mal wird das Feld Text aus OCR-Anhang so aktualisiert, dass es - wie zuvor - den aus dem Bild extrahierten Text enthält, aber es wird außerdem am unteren Rand des Fensters eine Registerkarte Suchergebnisse angezeigt. Diese Registerkarte enthält die besten Übereinstimmungen aus der Knowledge-Suche für den Text, der aus dem Bild im OCR-Anhang extrahiert und im Feld Text aus OCR-Anhang gespeichert wurde. Aus dieser Registerkarte heraus können Sie die Elemente öffnen und die Details anzeigen.

Sie könnten eine Berechnung nutzen, um die Ergebnisse aus der Registerkarte Suchergebnisse in einem einzigen Feld zu kombinieren. Dabei würden Sie die in diesem Release neu eingeführte Berechnungsfunktion verwenden. Weitere Informationen finden Sie unter Verwenden einer Berechnung zur Erstellung eines einzelnen Felds aus Suchergebnissen.

Verwenden von OCR mit Mail

Mit der Console-Komponente Mail können Sie den oben beschriebenen Prozess durch eine E-Mail anstoßen lassen. Ordnen Sie beim Konfigurieren der Zuordnung für eingehende E-Mail im Fenster „Zuordnung“ das Attribut Anhang im Baum Nachrichtenattribute dem Attribut OCR-Anhang im Baum Geschäftsattribute zu.

Nähere Informationen zum Konfigurieren von Mail finden Sie unter E-Mail.